Někdy hluboko ve středověku - snad ve dvanáctém či třináctém století - zde stála tvrz, která byla mnohokrát přestavována. Její první majitel není též znám, ale jako nejpravděpodobnější první majitelé tvrze je zmiňován rod Podlavičků ze Lhoty (vladykové) a to sice Mikuláš (dříve Vícemil) ze Lhoty.
Další zmínka o Lhotě je až z doby těsně předhusitské a husitské, kdy zde sídlili Zásmukové z Vlčetína, dobří to přátelé s rodem Rožmberků, jimž i sloužili a kteří si začali říkat Lhotečtí ze Zásmuk. Prvním vladykou ze Zásmuk byl Ctibor. Přátelství Zásmuků a Rožmberků bylo ale v době husitské pro Lhotu víceméně osudové, protože byla terčem mnohých nájezdů husitů a utrpěla tak mnohé škody, ač se ji nepodařilo nikdy dobít.
O dalším osudu Lhoty se dozvídáme až od roku 1530, kdy zámek koupil rod Kábů z Rybňan. Jan Kába z Rybňan, první majitel z tohoto rodu nechává Lhotu přestavovat a v nejbližším okolí se již mluví o Nové Lhotě. Roku 1597 prodávají Kábové již přestavěnou Lhotu spolu s okolním panstvím Vilému Růtovi z Dírné. Jeho syn Bohuslav byl nekatolík, a tak, ač se v letech 1618-1620 aktivně neúčastnil, byl jeho majetek včetně Nové Lhoty propadnut vojevůdci Balthasarovi Marradasovi - italskému důstojníkovi. Ten ale roku 1638 umírá bez potomků, a tak Novou Lhotu kupuje v roce 1641 nejbohatší a nejvlivnější pán v jejím blízkém okolí - a to sice Vilém Slavata z Jindřichova Hradce. Během vlastnictví Slavatů, začíná se Nové Lhotě říkat Červená Lhota. Důvodů, proč to, ale může být hned několik. Buď dostala, zcela logicky, tento název podle červených cihel a krytiny a nebo podle povídky děkana Bedřicha Kamarýta, z rodu již zmíněných Kábů z Rybňan, pochází název "Červená" z nesmytelné skvrny od krve, jež na zdi zůstal po tragické události pádu jedné zámecké paní z okna.
V 18. století se Červená Lhota dostává do držení Arnošta Windischgrätziho díky výhodnému sňatku s Marií Markétou (jedna z posledních paní ze Slavat).V roce 1755 koupil od Windischgrätziho zámek František Gudenus a od jeho rodu pak roku 1794 baron Ignác Stillfried. Roku 1831 koupil zámek rod Schönburgů z Hartensteina, který byl majitelem až do roku 1945.
Na dnešním zámku již není patrný jakýkoliv gotický prvek, dnešní podoba začala vznikat okolo roku 1530.Můžeme rozeznat dvě období stavby. V prvním období vzniklo hlavní křídlo zámku a o trochu mladší hranolová věž. Portál zámku už je časně barokní asi z roku 1641. Ve stejném období vznikla i zbylá část zámku - tedy ostatní tři křídla.
Místnosti v prvním patře hlavního zámeckého křídla mají různou úroveň podlaží, liší se klenbami i jejich plastickou a malířskou výzdobou (někde se ale ani nezachovala). Za zmínku vzhledem k vybavení patří několik velkých kachlových kamen (z baroka, rokoka i klasicismu), která byla pořizována do sálů nebo i do menších pokojů. Největší z nich stojí v rohu velikého sálu v prvním patře. V tomto sále se nachází i nejzajímavější nábytek zámku - truhla hranolovitého, značně protáhlého tvaru s nízkými nohami; vedle pak starobylé renesanční křeslo, zcela prosté, užitkové konstrukce. Z obrazů jsou nejčastějšími portréty majitelů zámku a dokonce i dva známé padělky.
Součástí zámeckého komplexu je i kaple svaté Trojice. Je na severním břehu lhotského rybníka, jelikož v zámecké budově nebylo nalezeno vhodné místo. Zajímavostí je, že kaple je bez věžičky, světlo do ní dodávají pouze 3 + 1 okno a vnitřek celé kaple tvoří jednotný prostor, nečleněný triumfálním obloukem na loď a presbytář, jak to bývá obvyklé.